Năm 16 tuổi, ông tự học về âm nhạc qua cuốn sách Harmonie et Orchestration của Robert de Kers, bản tiếng Pháp, xuất bản tại Paris, năm 1944.[1] Năm 1960, ông sáng tác nhạc phẩm đầu tay Bây giờ tháng mấy khi mới 18 tuổi, tác phẩm nhanh chóng được giới sinh viên Văn Khoa yêu mến.[3][6] Thời gian ở Đà Lạt, Từ Công Phụng cùng một số bạn học mới trong đó có nhạc sĩ Lê Uyên Phương, thành lập ban nhạc Ngàn Thông chơi nhạc hàng tuần trên đài phát thanh Đà Lạt.[1] Ca khúc Bây giờ tháng mấy của ông cũng được trình bày lần đầu tiên qua làn sóng phát thanh này.[1] Sau đó, ông lần lượt sáng tác những ca khúc như Mùa thu mây ngàn, Bài cho em...[1]

Trung tâm Thúy Nga từng thực hiện Paris By Night 64 - Đêm Văn Nghệ Thính Phòng nhằm vinh danh ông, cùng với hai nhạc sĩ Tuấn Khanh và Vũ Thành An.